HazardAuditor：从可执行威胁到更安全的计算机使用智能体
🧭 智能体安全执行守卫与策略优化
Ant Group · Zhejiang University · Fudan University · Hunan Institute of Advanced Technology · Shanghai Innovation Institute
执行级安全审计框架 HazardAuditor，通过跨框架事件规范化和 GuardPO 序列级优化，显著提升计算机使用智能体安全守卫准确率
📌 工作参考价值（4 点）
- 对电商/广告 Agent（如自动选品、自动投放、智能客服）的安全监控：不要只审 prompt 和最终回复，要记录并审计运行时的浏览器/终端/文件系统事件流，用统一的 canonical event 表示跨系统行为，才能捕获多步操作组合出的恶意目标。
- GuardPO 训练技巧可直接迁移到内容安全审核、推荐理由生成、广告文案审核等生成式 guard 模型：将确定性的安全/不安全标签转化为序列级 advantage，并把 rationale 和 verdict 区域做长度归一化，避免长解释霸占梯度，让模型的决策部分真正主导优化。
- 跨框架异构 agent 的事件规范化思路可复用于多套推荐/搜索 agent 系统：定义统一的事件 schema（如 click、query、tool_call、file_write），把不同 agent 框架的执行日志转成同一格式，便于训练一个通用安全守卫模型，而不是每个系统单独维护规则。
- 执行级评估集构建方法值得借鉴：在受控沙箱中跑通 Claude Code、Codex 等不同 agent，采集真实执行轨迹作为 guard 训练数据，比静态构造的 prompt-response 对更贴近线上安全风险。
StepGuard：可扩展监督与安全-效用平衡的步骤级护栏
🧭 Agent安全护栏 · step-level监督与效用平衡 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · Beihang University · Fudan University · Renmin University of China · KAUST
4B步骤级agent安全护栏，通过prefix-aligned合成数据与Balance-GRPO在低误杀下将平均ASR降低77.3%
📌 工作参考价值（4 点）
- 对电商/广告Agent的高风险工具调用（改价、退款、批量发消息、导出数据）增加执行前step-level guard，4B模型即可取得接近GPT-5.4的判别能力，单次检查约600ms/195 tokens，适合在线部署。
- 用prefix-aligned合成数据构造“同一前缀、不同安全动作分支”的对比样本，并加入benign tool-reuse轨迹，能明显降低guard对工具身份的误判，防止把易感工具一律当成风险。
- 训练时用Balance-GRPO：根据rollout batch中safe/unsafe两类accuracy差距动态reweight advantage，可把safe-unsafe gap从13.0压缩到8.0，在AgentDojo/AgentDyn上utility提升最多6.7点而ASR仅升0.3；这比固定class weight更稳。
- 如果业务中有安全与转化/体验的trade-off，可以借鉴按类别感知的on-policy校准策略，不必改prompt或reward，只需对优势做加权；另外保留step-level标注和风险定位输出，便于审计与策略调优。
HarnessRisk：面向智能体骨架全生命周期的安全基准
🧭 Agent harness安全评测
University of North Carolina at Chapel Hill · University of Central Florida · Michigan State University
提出覆盖六阶段的Agent harness安全基准，发现配置阶段最脆弱且风险识别不保证安全行动
📌 工作参考价值（3 点）
- 在电商搜索/推荐Agent中，将安全评测拆分为配置、扩展、运行、状态持久化、动作控制、恢复六个阶段，可快速定位风险面——尤其配置阶段（权限、工具白名单等）最为脆弱，工程上应默认最小权限并定期审计。
- 不要只依赖模型的风险识别能力，需在harness层增加强制拦截/审计：论文显示90%以上检测到风险仍可能保持较高攻击成功率，识别与安全行动之间存在显著gap。
- 构建内部安全回归集时，可采用“良性用户目标+不可信工作流嵌入对抗指令”的构造方式，覆盖不同harness与模型配置，同时统计Utility、ASR、Persistence、Detection多维指标。
OpenART：基于开放式环境演化的 Agent 红队规模化评测
🧭 Agent 安全红队 · 环境演化
Fudan University · Shanghai Artificial Intelligence Laboratory · XSafeAI
提出开放式环境演化基准 OpenART 与黑盒攻击策略 EMHA，在 75 种 Agent-模型配置上取得 85.0% 攻击成功率
📌 工作参考价值（4 点）
- 在电商/广告等长会话 Agent 场景中，可借鉴「环境状态演化」思路：不直接攻击模型输入，而是通过授权状态转移逐步污染共享上下文，测试推荐/搜索 Agent 在累积状态下的鲁棒性。
- 多工具调用（如商品检索、订单查询、广告投放）中，可建立状态转移超图，识别高风险路径，提前限制敏感状态变更，防止攻击链通过多个合法工具组合放大风险。
- 评估 Agent 安全时，除了模型能力，需重点关注 runtime 框架选择：文中发现目标 Agent 身份可解释额外 7.6% ASR 变异，提示生产中应测试不同 Agent 运行时的安全性差异，避免仅依赖模型层防御。
- 对于长链路任务（如电商导购 Agent 执行 97 次工具调用），可引入动态环境监控，检测偏离任务目标的异常状态演化，作为红队预警机制。
OpenSkillRisk：真实第三方风险技能下的智能体安全基准
🧭 LLM Agent 安全基准评测
City University of Hong Kong · Beijing University of Posts and Telecommunications · Li Auto Inc.
构建含263个真实风险技能的基准，揭示LLM智能体在规避第三方工具风险时的不足
📌 工作参考价值（4 点）
- 在构建面向电商场景的客服Agent或推荐助手时，若需集成第三方工具或自定义技能，可借鉴OpenSkillRisk的分类体系（七类威胁）进行安全风险预审，避免部署后出现有害行为。
- 重点关注“上下文敏感风险”和“系统级风险”，这类风险在当前最安全的配置下仍有17%的执行率，需在代码审查和沙箱测试中额外设计针对性的检测用例。
- 分析三种典型失败模式：未识别风险、识别后未阻止、执行超出用户意图。可在Agent框架中引入“风险识别→人工确认→执行”的防御回路，或通过提示工程强化LLM对恶意指令的警觉性。
- 若自研Agent平台支持外部开发者上传技能（类似插件市场），可参考该基准构建自动化安全扫描流水线，将技能描述与沙箱执行结果结合进行风险评估。
SkillFuzz：开放技能市场中技能组合的隐式意图模糊测试
🧭 Agent 技能组合安全测试 · 模糊测试
University of Liverpool · Mohamed bin Zayed University of Artificial Intelligence
通过合约引导的蒙特卡洛树搜索在无执行环境下模糊测试技能组合，发现隐式意图
📌 工作参考价值（4 点）
- 在电商/推荐多技能 Agent 系统中，可借鉴 skill contract 提取方式，将技能的自然语言描述结构化，用于自动检测技能组合时的意图漂移。
- 采用无执行环境的“规划工件 + 差异 oracle”测试方案，在技能上线前即可发现组合风险，避免线上推荐被重定向至非预期目标。
- 合约引导的 MCTS 搜索策略以极低的组合探索比例覆盖高风险空间，可应用于 Agent 编排器的安全约束生成，例如限制同时激活的技能对。
- 对隐式意图的分类与严重性判定方法，可迁移至电商对话 Agent 的质量保障流程，提前屏蔽“促销+比价”等技能组合导致的隐性推荐偏差。
煮蛙效应：面向智能体安全的多轮基准测试
🧭 Agent 安全评估·多轮对抗攻击
Icaro Foundation · Sapienza University of Rome · Sant’Anna School of Advanced Studies · Tongji University School of Law · VU Amsterdam
评估工具型AI在办公场景下对逐步升级攻击的脆弱性，多模型平均严格攻击成功率44.4%
📌 工作参考价值（4 点）
- 可以借鉴“煮蛙”思路，在电商 Agent 测试中设计多轮逐步升级的恶意指令链，检查智能体是否会在不经意间执行高危操作（如修改库存、泄露用户数据）。
- 评测方法强调状态化评估，关注最终环境状态是否变为不安全，而非单轮回复，适用于评估订单处理、客服等有持久状态的 Agent 系统。
- 风险分类参考欧盟 AI 法案，可为合规审计提供框架：按操作风险等级构建测试场景，识别 Agent 在关键业务域的安全薄弱点。
- 攻击链中延迟注入风险请求的编排方式，可用于生成对抗训练数据，提升自研推荐/搜索 Agent 对长程诱导攻击的鲁棒性。